#language modeling

3 篇

Hierarchical Continuous Diffusion Language Models

层次连续扩散语言模型

🧭 连续扩散语言模型 · 离散连续耦合去噪

University of Illinois Urbana-Champaign · Amazon.com, Inc.

HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线

📌 工作参考价值（4 点）

面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。

LLM | 2026-09-30 | HF Daily | score 7/10

Maglev：滑动循环记忆

🧭 高效序列建模 · 循环记忆训练 ★ 深度解读

The University of Texas at Austin

用并行 prefiller 提供记忆目标、decoder 滑动窗口注入循环 K/V，实现有界推理的非线性循环 Transformer

📌 工作参考价值（4 点）

长用户行为序列建模：如果线上模型希望固定窗口 KV cache + 有界推理，可用一个更强的 full-attention teacher 离线生成每一步 memory target，蒸馏到滑动窗口 student，避免在线逐步展开 RNN 的延迟。
Memory 注入方式：把上一时刻用户状态通过 K/V 通道加入当前 attention，而不是占用 token 位，K/V cache 大小不增加；可把用户实时特征和长期记忆分别走 local/recurrent K/V，并用 2σ gate 初始为 1 的双通道门控稳定混合。
辅助一致性损失调参：λ 不是越大越好；teacher 和 student 共享大部分参数时，过强的 memory 对齐会约束表示，λ 应小；分离 teacher 时可用较大 λ。该结论可直接迁移到多任务/蒸馏式训练。
参数共享策略：prefiller 与 decoder 共享主体参数可大幅省显存，同时保留大部分收益；若业务允许额外 teacher 容量，再考虑分离 stack。

Training | 2026-08-04 | HF Daily | score 8/10

动态短卷积：用输入依赖的局部混合增强 Transformer

🧭 动态短卷积增强 Transformer 架构 ★ 深度解读

Massachusetts Institute of Technology · MIT-IBM Watson AI Lab

提出输入依赖的短卷积替代静态卷积，在 QKV 或全部线性层上带来 1.33–1.60× 计算优势，并保持低训练开销。

📌 工作参考价值（4 点）

在推荐、Agent 序列建模中，可将动态短卷积作为一种局部上下文交互层，放置在 QKV 或所有线性层后，增强模型对内容依赖的局部组合能力。
参数效率方面，使用低秩分解（rank R）或 head‑wise 共享动态卷积分量，在参数量仅小幅增加的前提下获得明显性能提升，适合资源敏感的业务场景。
工程实现上，可借鉴 Triton 内核融合（将动态权重生成与卷积操作熔合，避免中间张量写回 HBM）以减少内存带宽压力，使训练吞吐仅下降约 8%，适合实际部署。
动态卷积可与现有序列混合器（如 Attention、Mamba、DeltaNet）组合使用，替换其中的静态卷积，无需改动整体架构设计即能获得额外收益。

LLM | 2026-06-02 | cs.CL | score 8/10